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Предложен интерактивный метод для упрощения отладки и повышения производительности построения 
тестовых сценариев для обеспечения покрытия требований высокого уровня. Метод реализует полуавтома- 
тическую генерацию тестов, используя задаваемую пользователем дополнительную информацию 0б искомых 
поведениях проектируемой системы. В основу положен эффективный алгоритм сокращения обхода поведения 
модели, способный оперативно оценивать перспективы достижения непокрытых элементов и приостанавливать 
рассмотрение ветвей поведения, которые гарантированно не приведут к увеличению покрытия. 
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Введение 

Рассмотрим тестирование програм- 
мных систем как способ проверки конк- 
ретной реализации на соответствие требо- 
ваниям. Так как при тестировании невоз- 
можно проверить поведение программы во 
всех ситуациях, то во время создания 
тестов прибегают к определению крите- 
риев покрытия и ограничиваются требо- 
ванием проверки классов тестовых сцена- 
риев, удовлетворяющих таким критериям. 
Часто полнота тестового покрытия оцени- 
вается по числу выполненных операторов 
кода, а также ветвей, путей, достижению 
граничных значений функций, выполне- 
нию условий в выражениях, и т.п. [1, 2]. 
Подобные критерии удобно использовать 
для автоматической генерации тестов, 
которые могут обеспечить структурное 
покрытие кода разрабатываемого продук- 
та, но не требований к нему. Например, из 
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того, что тестовый набор покрывает все 
условия и операторы кода не следует, что 
будет проверена правильность реакции на 
входящие сигналы. Трудоемкость создания 
тестов по функциональным специфика- 
циям вручную (или с применением симу- 
ляторов) слишком велика для систем со 
сложной моделью поведения, а качество 
таких тестов не приемлемо для систем, в 
которых надежность критична. Обостря- 
ется необходимость автоматизации созда- 
ния тестовых сценариев на основе фор- 
мальных моделей. 

Обычно исходные требования, фор- 
мулируемые заказчиком, и их детальные 
спецификации, создаваемые  разработ- 
чиками, заданы на разных уровнях детали- 
зации. Для того чтобы автоматизировать 
проверку соответствия спецификаций раз- 
работчиков требованиям заказчика, необ- 
ходимо построить формальные модели 
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спецификаций, согласованные с требова- 
ниями заказчика и их интерпретацией раз- 
работчиком. Как правило, последние пред- 
ставляют собой сценарии типичных режи- 
мов поведения (3е-сазез) разрабатывае- 
мой системы. Такие сценарии можно пере- 
формулировать в виде последователь- 
ностей событий модели, успешное выпол- 
нение которых при определенных усло- 
виях будет означать покрытие соответст- 
вующего требования [3, 4]. Подобные 
цепочки событий, соотнесенные с требова- 
нием, называют целью теста ({е5{ ригрозе). 

Проблемы автоматизации построе- 
ния тестовых сценариев 

Разработка тестового набора, обеспе- 
чивающего покрытие требований к про- 
дукту, достаточно сложна и вполне сопос- 
тавима с трудоемкостью создания кода. 
Для снижения трудоемкости создания тес- 
тов активно применяются методы и систе- 
мы автоматической генерации тестовых 
сценариев на основе формальных моделей 
разрабатываемых систем (то4де! Базед 
(езИп®) [2—5]. Большинство из них приме- 
няют некоторый структурный критерий 
покрытия для поиска соответствующего 
поведения модели. Хотя получаемые в 
результате тесты обычно слабо связаны со 
специфическими особенностями кода тес- 
тируемой системы, тем не менее, они 
содержат представительный набор сцена- 
риев ее поведения, что позволяет значи- 
тельно сократить трудозатраты тестиро- 
вания сложных систем. Обзоры таких 
работ можно найти в [1-5]. 

Однако можно встретить отчеты 
(например, [6, 7]), свидетельствующие о том, 
что обеспечение структурного покрытия как 
цель для автоматической генерации тестов 
может быть ошибочной стратегией: такие 
метрики должны использоваться для измере- 
ния тщательности покрытия построенными 
тестами, и не обязательно приводят к хоро- 
шим результатам, когда используются в роли 
спецификации для их генерации. Например, в 
работе [8], авторы добились покрытия 
МСС (Модеа Сопавоп/Оесюп, вклю- 
чен в сертификацию РО-178В,С безопас- 
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ности оборудования авиационных систем, а 
также является частью требований в стан- 
дарте автомобильной безопасности 1$О 
26262 Коаа Уейсез Нипсйопа! Зау) для 
модели системы управления полетами и 
проверили полученные тесты на реализациях, 
в которых были допущены ошибки. Авторы 
отмечают, что автоматически сгенерирован- 
ные тесты обнаруживали относительно мало 
ошибок, и, в общем, продемонстрировали 
эффективность ниже, чем у тестов, произве- 
денных случайным образом. 

Еще один недостаток автоматического 
подхода заключается в том, что генери- 
руемый тестовый сценарий не обязательно 
является хорошим испытанием проверяемого 
свойства: сгенерированная тестовая последо- 
вательность является артефактом стратегии 
поиска, поэтому она может заканчиваться в 
середине некоторого интересного поведения, 
может включать в себя много избыточности. 
Причинно-следственные связи часто запутан- 
ны и сложны, и, более того, путь может даже 
не содержать состояние, в котором предпо- 
сылка требуемого свойства становится ис- 
тинной. Автоматические тесты нуждаются в 
ручном сопровождении для определения 
условий успешного прохождения, а также 
для последующего обновления в связи с 
изменениями в коде продукта [9]. В работах 
[10, 11] подчеркивается, что плохо состав- 
ленные тесты имеют негативный эффект на 
их сопровождение. 

Проблемы соответствия требова- 
ниям и отладки 

При проектировании тестовых сцена- 
риев актуальна задача обеспечения семан- 
тического соответствия между тестами и 
критериями покрытия исходных функцио- 
нальных требований к программному про- 
дукту. Системы, основанные на методе 
то4е!| сВесК, предполагают, что иско- 
мый сценарий можно задать в виде неко- 
торой формулы темпоральной логики: 
если заданная формула станет ложной на 
некотором пути, то такой путь будет выдан 
верификационной системой в качестве 
контр-примера и может рассматриваться 
как один из сценариев покрытия исходного 
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требования. Однако на практике часто 
оказывается, что однозначного соответст- 
вия между формулой над атрибутами 
модели и желаемой цепочкой событий 
(обусловленной исходными требованиями) 
нет; более того, формулы становятся 
громоздкими и сложными для построения. 
Существуют подходы, которые помимо 
формальной модели на вход принимают 
сценарий тестирования, заданный пользо- 
вателем в виде последовательности сооб- 
щений, которыми обмениваются компо- 
ненты модели, например, в виде МФС [4]. 
Также актуальны проблемы отладки 
как самого тестового сценария, так и 
анализа результатов выполнения тестов на 
реализации системы: для устранения де- 
фекта необходимо иметь эффективные 
средства его локализации. 
Проблемы производительности 
Автоматизация тестирования — попу- 
лярная тема современных исследований. 
Активно разрабатываются различные 
эволюционные, стохастические и эвристи- 
ческие методы для ускорения достижения 
покрытия, а также методы, основанные на 
символьных вычислениях [2], так, разви- 
тие ЭМТ алгоритмов позволило сущест- 
венно повысить производительность так 
называемого Воипдеа Моде! Свескше 
подхода [12]. Однако проблема комбина- 
торного взрыва остается основным пре- 
пятствием на пути интеграции формаль- 
ных методов в разработку промышленных 
программных систем. Существующие ал- 
горитмы часто углубляются в перебор 
вариантов, не приводящих к обнаружению 
новых элементов искомого покрытия. 
Актуальна задача разработки алгоритмов 
для эффективного анализа пространства 
поведения модели, в частности, проблемой 
становятся циклы, приводящие к беско- 
нечным путям. 
Описание метода 
Основные цели предлогаемого метода: 
- повысить уровень семантического 
соответствия между генерируемыми 
тестами и требованиями к разрабаты- 
ваемой системе; 
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- упростить и усовершенствовать руч- 
ное управление, средства отладки, 
снабдить информацией о недостаю- 
щем покрытии и о путях его 
достижения; 

- повысить производительность алго- 
ритмов поиска поведений модели, 
удовлетворяющих заданным ограниче- 
НИЯМ. 

В практике проектирования качест- 
венных программных продуктов разработ- 
чикам необходимо согласовать с заказ- 
чиком семантику требований и формали- 
зовать процедуру их тестового покрытия. 
Опыт показывает, что наиболее удобной и 
понятной для обеих сторон запись такого 
согласования выражается в терминах 
событий исходной модели. Так, для каж- 
дого требования формулировались специ- 
альные конструктивные критерии [13], 
которые, с одной стороны, подтверждали 
семантическое соответствие требованию, с 
другой — служили дополнительным входом 
для автоматической генерации тестов. 

Описываемый метод развивает рабо- 
ты [14, 15], в которых был предложен 
метод направленного поиска. Требования к 
искомому поведению ассоциировались с 
некоторым регулярным выражением над 
алфавитом, семантически соответствую- 
щим событиям модели. К недостаткам 
можно отнести высокую сложность созда- 
ния таких выражений, ведь они должны 
учитывать «дистанцию» между описывае- 
мыми событиями (таким образом наклады- 
валось ограничение на поиск, ввиду 
проблемы комбинаторного взрыва). Также 
был затруднен анализ результатов для слу- 
чая, когда искомое поведение оказывалось 
недостижимым ввиду чрезмерно строгих 
ограничений, накладывемых на поиск. 

В предлагаемом методе цель теста 
(запрос или условия для выбора) также 
задается пользователем и определяет 
свойство искомого пути в виде множества 
точек потока управления, опционально 
упорядоченное и ограниченное количест- 
вом их посещений, а также расширенное 
условиями над переменными модели. 
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Например, условие х>0 на выбранной 
точке будет означать «рассматривать 
только пути, в которых значения 
переменной х в данной точке больше 0»; 
чтобы исключить из рассмотрения пути, 
проходящие через некоторую точку, 
достаточно установить количество ее 
прохождений в 0. 

Идея упрощения поиска путей состоит 
в том, чтобы оперативно предоставить 
разработчику тестового набора информацию 
о множестве всех допустимых поведений 
модели. Наивное решение — генерация всех 
пугей — это, очевидно, неосуществимая зада- 
ча, и даже если множество конечно, оно 
может быть необозримым из-за огромных 
размеров. Описанный метод предлагает 
компромисс: он исходит из предположения, 
что основные интересующие события 
представлены различными конструктивными 
элементами дизайна модели (т.е. они 
находятся в разных точках потока 
управления), и поэтому проекция искомого 
пуги на структуру потока управления (или 
блок-схему) будет информативной для 
разработчика. Так, в начале работы (до 
внесения каких-либо ограничений на поиск) 
отображается информация 060 — всех 
достижимых  траекториях путем  визуа- 
лизации их проекции на поток управления. 
Далее, пользователь шаг за шагом инте- 
рактивно задает дополнительные ограниче- 
ния, при этом реакцией служит обновление 
информации о допустимых поведениях. В 
итоге получается, что пользователь задал 
некоторую  последовательность событий, 
ассоциированную с требованием к реализу- 
емой системе, и получил в ответ проекцию 
всего множества трасс (последовательности 
переходов) модели, каждая из которых, 
выходя из начального состояния, пройдет 
через все точки в (опционально) указанной 
последовательности в соответствии с задан- 
ными ограничениями. Это дает пользователю 
возможность визуального контроля всех воз- 
можных альтернатив поведения одновремен- 
но (путем выделения соответствующих эле- 
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ментов графического потока на панели 
визуализации). Таким образом, метод позво- 
ляет разработчику найти нужный путь, итера- 
тивно шаг за шагом задавая его ключевые 
точки, тогда как все возможные альтерна- 
тивы промежутков между ними будуг 
генерироваться автоматически, а проекция 
полных допустимых путей обновляться «на 
лету». После визуального контроля можно 
записать на диск множество трасс, каждая из 
которых удовлетворяет требованию и кото- 
рые в совокупности обеспечивают покрытие 
всех выделенных ветвей потока управления. 

Для отладочных целей при записи 
трассы сохраняется информация обо всех 
причинно-следственных связях в ней, т.е. 
места определения значений переменных 
для каждого использования в условиях или 
правых частях присваиваний. Эти данные 
упощают отладку модели и, в последствии, 
локализацию дефектов, обнаруженных по 
результатам выполенния тестов. 

Также накапливается информация о 
достигнутом покрытии для подсказки 
пользователю и приоритезации поиска 
направлений, содержащих больше непо- 
крытых элементов. 

Описание алгоритма обхода пове- 
дения модели 

В основу метода положены алгорит- 
мы обхода пространства поведения модели 
[16, 17], эффективно генерирующие проек- 
цию всех выполнимых путей. Путь 
(последовательность переходов модели) 
удовлетворяет запросу, если он включает 
все заданные контрольные точки в соот- 
ветствии с условиями. 

В качестве примера существующих 
подходов рассмотрим алгоритм генерации 
тестовых наборов применительно для авто- 
матных моделей с семантикой конечных 
транзиционных систем. На рис.1 представлен 
алгоритм [18], учитывающий частичное 
покрытие рассматриваемой трассой элемен- 
тов, требуемых заданным критерием 
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РА$5$:= 0 ; У/АТТ:= { (50, Ао, Со, )} ; ЗАТЕ:= @ ; СОоУ := Со 
уНйе \УАТ- ( 40 
з@есе (3, А, С, &) Нот УМАГТ; ад4 (3, А, С, &) ю РА$$ 
Гог аП (5'’, А’ См. : (3, А, С.) 55 (5, А’, С’, и. 0 
Ё С’ С Соу еп 
а44 (и.&, С) ю ЗТЕ; СОУ := СОУ Ц С" 
И (5%, Аз; Сьи): (3+, А; Су, ид) Е РА$$ у \МАИТ Л 3$; = ЛА’ Е. А; еп 
а (3', А’, С", и.) ю УТ 


у 


о4 
од 
геиги ЗО ТЕ 


Рис. 1. Алгоритм покрытия с учетом частичных элементов [18] 


Алгоритм заканчивает работу, когда ющем: текущее состояние поиска будет 
множество нерассмотренных состояний рассматриваться как неперспективное (и, 
У/АГТ становится пустым. К этому момен- как следствие, текущий путь будет оста- 
ту все достижимые состояния из начально- новлен), если никакое его продолжение не 
го состояния 50 рассмотрены, множество сможет достичь непокрытый эле-мент. С 


другой стороны, если состояние, покры- 
вающее искомый элемент достижимо, оно 
будет рассмотрено алгоритмом, таким об- 
разом сохраняя свойство полноты резуль- 
татов поиска. Необходимо отметить, что 
такая остановка развертывания состояний 


Соу содержит все достижимые элементы 
покрытия и ЭСТЕ содержит множество 
пар вида (\, С;), где у! — трасса, закан- 
чивающаяся покрытием элемента С, и 
(] С: = Соу. Алгоритм обеспечивает пол- 


ное покрытие достижимых элементов, т.к. в результате дает большой прирост 

для каждого частичного элемента а; расши- эффективности поиска, так как количество 

ренное состояние ($, А, С, \) такое, что путеи, выходящих из состояния, может 

а: А, будет рассмотрено экспоненциально возрастать с увеличени- 
Е | 


ем встречающихся условий. Детальное 
описание алгоритма поиска приведено в 
работе [16]. 

Рассмотрим пример, демонстрирую- 
щий экспоненциальное сокращение анали- 
зируемого пространства поведения моде- 
ли. Пусть для некоторой абстрактной прог- 
раммы (см. рис. 2) множество точек, требу- 


Хорошо известной проблемой подоб- 
ных алгоритмов является время, затрачен- 
ное на обход пространства поведения и па- 
мять для хранения пройденных состояний. 
Для поставленной задачи пространство 
поиска, порожденное алгоритмом [18], бу- 
дет иметь размер, определяемый произве- 
дением количества состояний модели |$|, 


количества возможных подмножеств мно- г. и р 
= ...›ап;. имптотическая нка 

жества точек покрытия 28! и количества (\уаь,.. аа} и ры __ С 
количества различных состоянии 


точек потока управления |С|. Очевидная 
оптимизация — рассматривать включение 
А’ СА, вместо равенства А’ =А; [18]. Однако 
производительность остается неприемле- 
мой, и, как следствие, алгоритм не приго- 
ден для предлагаемого подхода. 

Ключевая идея усовершенствования поис- 
ка в прогнозировании перспектив рассмат- 
риваемого состояния заключается в следу- 


0(|$|-[<|.2®)=О(и?.2"), однако алгоритм 
[16] закончит работу за О(0?) шагов: 
действительно, пути {ШИ,а1,...,ал-2,би-1,Си- 
1}, (П,ат,...,ал-з,бл-2,Си-2}, ..., ЧЙ,бьст} не 
будут продолжены, так как станет 
известно, что элемент ‘\’ не будет 
достигнут на их продолжении. 
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збасемепЕ 11011; 
1Е (сопа0) { 
зсабсемепе И; 
}е1зе{ 
ТЕ (сопа1) 
эзЕасетмепЕ а1; 
е1зе 
эзЕасетепе Ъ1; 
эзЕабетмепЕ с1; 


ТЕ (сопап) 
зсасемепе ап; 
е1зе 
эзЕабетмепе п; 
зсабсемепе сп; 


} 
Рис.2. Пример программы 


Аналогичный подход к редукции 
пространства поиска предложен в работе 
[19] применительно для символьного 
выполнения. Его авторы отмечают, что сос- 
тояния, отличающиеся только значениями 
переменных, которые в последствие (на 
развертываниях всех выходящих путей) не 
читаются, будут иметь одинаковые после- 
дующие выполнения, следовательно, вто- 
рое выполнение будет избыточным. Стоит 
отметить, однако, что алгоритм [19] не спо- 
собен корректно выявлять все читаемые 
переменные для случая программ с беско- 
нечными циклами, как следствие, авторы 
указывают на необходимость их ограни- 
ченного развертывания. Для устранения 
последнего недостатка в алгоритме [16] 
предусмотрена процедура уточнения состо- 
яния и его последующего повторного 
анализа. 

Заключение 

Обычно автоматически сгенериро- 
ванные тесты позволяют проверить только 
неявные требования, например, отсутствие 
зависаний, аварийных завершений или 
неожиданных исключительных ситуаций 
во время выполнения теста [20, 21], но не 
обнаружение несоответствия между реали- 
зацией системы и ее спецификациями. Для 
установления факта успешного прохожде- 
ния теста, необходимо описать соответ- 
ствующие проверки или формальную мо- 
дель [3—5] (так называемая «проблема 
оракула» [9]). 
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Данная работа объединяет оба под- 
хода: разработан интерактивный конструк- 
тор трасс, который, с одной стороны, 
упрощает поиск поведения соответствую- 
щего требованию путем задания контроль- 
ных точек, с другой — автоматически иссле- 
дует альтернативы промежугочных участков 
и генерирует результирующий тестовый 
набор, удовлетворяющий  структурному 
покрытию. 

Разработан прототип для автоматизи- 
рованного построения тестовых сценариев. 
Помимо соответствия требованиям высо- 
кого уровня, генерируемые тесты удовлет- 
воряют критерию покрытия ветвей, а для 
участков поведения, требующих более 
тщательного тестирования, применен эф- 
фективный алгоритм [22] для покрытия 
потока данных [23]. Для повышения спо- 
собности обнаруживать ошибки применен 
метод [24] конкретизации символьных 
трасс, осуществляющий вычисление и 
подстановку конкретных значений, лежа- 
щих на границах допустимого диапазона. 
Метод успешно применен [25] к анализу 
егасу-кода и генерации тестов [26] для 
Тауа программ. 
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ВЕЗОМЕ 


А. КосЬ, 5. РонуепКо 

Пегасйуе тебо4 ог ашютае4 1е$ 
зий Чеу@ортепе №г Шогта|! плоде! оЁ 
зоЁутаге зузет$ 

ЗоЁ\аге шаизгу тоуез {ю\гагА то4е]- 
Базед 4еуеюртеп ап ашотаеа 1е% 
зепегайоп отт фе тоде! 1$ овеп сопз14егеа 
аз а Юг о{ гедииетет $ -Базе4 (езИпо. ТВе 
та]огиу оЁ {езё зепегайоп арргоасВез изе 
зоте згасига] соуегазе сгцетоп Базе4 оп а 


2 


= 


58 
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БеБау1ога| то4е| оГ Фе ЗОТ ю сие Ше 
зе]есйоп ОР {е5ё сазез. Но\еуег, изше фе 
соуегазе ргоу11оп а$ а {агоеё ог ащотае4 
(е5Ё репегайоп ш тапу сазез 1$ а Намеа 
утайесу: соуегаге тейлс$ аге пщепаед ю 
теазие Фе ШФогочерпез$ о Батап- 
сепегае4 (е5(5, ап4 40 поЕ песеззагПу Теа4 {о 
2004 (е5ё 5е{з еп изе4 ш ап шуецеа гое аз 
а зресйсайоп Юг Ше {е565 гедише4. 

ТЬ$ рарег ргорозез а поуе| ицегасйуе 
тефо4 Юг зппрИсайоп ап еЁй<епсу 
пиргоуетепе о? {е5ё зсепамо 4еуеортеп ю 
зай$Ру 6еЪ-еуе] гедишететз соуегазе. ТБе 
тефо4 паретепз зепиацютайс гепегайоп 
ОГ (е565 оп а Базз оЁ рош-оРииегезе оЁ 
4езиеа Бебауюг оЁ а зубет ипаег 
еуе!ортепе. ОпПКе ех15йп® тефо4$ оЁ 
то4е!5 Берау1ог апа[уз1$, ср ргодисе аз а 
геза ошШу опе \/пез$ ог соищег-ехатр!е 
рай рег зресйеЧ ргорему, Ше ргорозеа 
тефо4 ргоу!ез апа!у$15 оЁ Берау1ог ш а 
ситиануе \ау: Ш сепегаез$ асотехае 
шЮгтайоп абойё аП зайзНа Ме раз. Ты$ 
Ч1зипсйуе Геайше р1ауз а гое оЁ пиегасйуе 
ра сопзёгасюг, уШеВ рготрё$ аП зай5НаЫе 
Бевау1ог аКегпануез, 50 изег сап Нп4 а 4езгеа 
рав Бу цегайуеу зресКуте рош5-о-пиегез 
ап обзегуе ир4аез о? Фе рготрИипе оп-Ше- 
Пу. ТЬе шефо4 1$ Базе оп Ше опеша| 
а]сотибт аб оп Фе опе Вапа, гиагатщеез 
сотр!е{епез$$ оЁ Ше зеагсВ, ап оп фе оШег # 
ауо14$ ехБаизиуе з{аёе-зрасе ехр]огайоп Бу 
арр!уше а зреслайте4 еслз1оп ргоседиге Юг 
еа]у {епттайоп оЁ рай ип®ю!Ч$, \Ысв 
аПо\з ехр]огайоп оЁ а %ае ощу И # пеш 
шсгеазе Ще гедиеце4 соуегазе. 
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